カメラフィードの地図上への視覚化

专利摘要:
カメラからのフィードは、それらのフィードに基づくイメージを、２次元または３次元の仮想地に基づく地上に重ね合わせることにより、より良く視覚化される。例えば交通カメラのフィードは、地内に含まれる道路に対して位置合わせすることができる。複数のビデオを地内の道路に対して位置合わせすることができ、時間的に整合させることもできる。
公开号:JP2011515760A
申请号:JP2011500830
申请日:2009-02-16
公开日:2011-05-19
发明作者:オフェク，エイヤル；チェン，ビリー
申请人:マイクロソフト コーポレーション；
IPC主号:G06T11-60

专利说明:

[0001] [0001]交通カメラのフィードは、インターネットを介してユーザーにビデオイメージを届ける。こうしたフィードは、インターネットユーザーにとって豊富にありかつ身近なものとなっている。]
[0002] [0002]一実装形態では、興味のある地理的領域についての一連の入手可能なカメラフィードがユーザーに提示される。複数のフィードを同時に見ることができるように、各フィードはサムネイルイメージとして表すことができる。見やすくするために、ユーザーはサムネイルイメージを選択して拡大することができる。]
[0003] [0003]別の実装形態では、比較的従来型の地図（例えば市街地図）が表示され、その地図の中では道や高速道路が線として表される。その地図は、交通カメラの位置を示すアイコンも含む。ユーザーは、それらのアイコンのうちの１つをクリックして、ある交通カメラを選択し、その交通カメラによるフィードを表示することができる。]
[0004] [0004]上述した形式は限られた範囲内で有用だが、それらの形式の全潜在能力が実現されることを妨げる欠点もある。例えば、カメラがどの方向に向いているのか、またはカメラがどの道を記録しているのかが、閲覧者にとって分かりづらい場合がある。この問題を大きくするのは、カメラの向きが１日のうちに動的に変わる場合があることである。さらに、様々なカメラからのフィードは互いに異なる時間においてキャプチャされる可能性があり、閲覧者がそれらのフィードのそれぞれから情報を吸収することを困難にする。これらの問題は、交通カメラの数が増えるにつれ、より深刻になる。例えば一部の街では、数千ものカメラを使用して道がモニターされる。]
[0005] [0005]カメラからのフィードは、それらのフィードに基づくイメージを、２次元または３次元の仮想地図に基づく地図上に重ね合わせることにより、より良く視覚化される。]
[0006] [0006]この概要は、以下の詳細な説明の中でさらに説明する概念のうちの選ばれたものを、単純化した形で紹介するために提供する。この概要は、特許請求の範囲に記載する内容の重要な特徴または本質的な特徴を特定することを意図するものでなく、特許請求の範囲に記載する内容の範囲を限定するために使用されることを意図するものでもない。]
[0007] [0007]本明細書に組み込まれ、本明細書の一部をなす添付図面は、諸実施形態を図示し、この説明とともにそれらの実施形態の原理を説明する役割を果たす。]
図面の簡単な説明

[0008] [0008]ビデオ視覚化システムの一実施形態のブロック図である。
[0009]仮想地球地図上にオーバーレイされたビデオフィードを示す図である。
[0010]仮想地球地図上にオーバーレイされたビルボードを示す図である。
[0011]ビデオフィードからの、特定のオブジェクトの抽出を示す図である。
[0011]ビデオフィードからの、特定のオブジェクトの抽出を示す図である。
[0011]ビデオフィードからの、特定のオブジェクトの抽出を示す図である。
[0012]ビデオフィードを視覚化するための方法の一実施形態の流れ図である。
[0013]ビデオカメラを調整するための方法の一実施形態の流れ図である。]
実施例

[0009] [0014]以下の詳細な説明の一定の部分は、手順、論理ブロック、処理、およびコンピューターメモリー内のデータビットに対する操作についての他の記号的表現によって提示する。これらの説明および表現は、自らの作業物質を他の当業者に最も効果的に伝えるために、データ処理技術分野の当業者によって使用される手段である。本出願では、手順、論理ブロック、プロセス等は、所望の結果をもたらす自己矛盾のない一連のステップまたは命令であると考えられる。ステップとは、現物数量の物理的操作を要求するものである。通常、必ずではないが、これらの数量は、記憶し、転送し、結合し、比較し、コンピューターシステム内で他の方法で操作することができる、電気信号または磁気信号の形を取る。]
[0010] [0015]ただし、これらの用語および同様の用語のすべては、適切な現物数量に関連付けられるべきであり、単にこれらの数量に適用される便利なラベルに過ぎないことに留意すべきである。特に指定のない限り、以下の解説から明らかなように、本出願の全体にわたり「アクセスする」、「重ね合わせる」、「表現する」、「位置合わせする」、「投影する」、「相関する」、「オーバーレイする」、「シミュレートする」、「調整する」、「表示する」、「受信する」等の用語を利用する解説は、コンピューターシステムのレジスターおよびメモリー内の現物（電子）数量として表されるデータを、コンピューターシステムのメモリー、レジスター、または他のそうした情報記憶域、伝送デバイスもしくはディスプレイデバイス内の現物数量として同様に表される他のデータへと操作して変換する、コンピューターシステムまたは同様の電子コンピューティングデバイスのアクションおよびプロセスに言及することが理解されよう。]
[0011] [0016]本明細書に記載する実施形態は、１つまたは複数のコンピューターもしくは他のデバイスによって実行されるプログラムモジュールなど、何らかの形のコンピューター使用可能メディア上に存在する、コンピューター実行可能命令の一般的文脈で論じることができる。概してプログラムモジュールは、特定のタスクを実行し、または特定の抽象データ型を実装する、ルーチン、プログラム、オブジェクト、コンポーネント、データ構造等を含む。これらのプログラムモジュールの機能は、様々な実施形態で結合し、または所望の通りに分散させることができる。]
[0012] [0017]限定するためでなく例として、コンピューター使用可能メディアは、コンピューター記憶域メディアおよび通信メディアを含むことができる。コンピューター記憶域メディアは、コンピューター可読命令、データ構造、プログラムモジュールや他のデータなど、情報を記憶するための任意の方法または技術によって実装される、揮発性メディアおよび不揮発性メディア、リムーバブルメディアおよびノンリムーバブルメディアを含む。コンピューター記憶域メディアは、ＲＡＭ（ランダムアクセスメモリー）、ＲＯＭ（読み取り専用メモリー）、ＥＥＰＲＯＭ（電気的消去可能プログラマブルＲＯＭ）、フラッシュメモリーや他のメモリー技術、ＣＤ−ＲＯＭ（コンパクトディスクＲＯＭ）、ＤＶＤ（デジタル多用途ディスク）や他の光学式記憶域、磁気カセット、磁気テープ、磁気ディスク記憶装置や他の磁気記憶装置、または所望の情報を記憶するために使用可能な他の任意のメディアを含むが、これだけに限定されない。]
[0013] [0018]通信メディアは、コンピューター可読命令、データ構造、プログラムモジュール、または搬送波や他のトランスポート機構などの変調データ信号の中の他のデータを実施し、任意の情報配信メディアを含むことができる。用語「変調データ信号」は、その特性の１つまたは複数が、信号内の情報をエンコードするような方法で設定されまたは変更された信号を意味する。限定するためでなく例として、通信メディアは、有線ネットワークや直接有線接続などの有線メディア、およびアコースティック、ＲＦ（無線周波数）、赤外線や他の無線メディアなどの無線メディアを含む。上記のものの任意の組合せも、コンピューター可読メディアの範囲に含まれるべきである。]
[0014] [0019]本明細書に記載の実施形態によれば、交通カメラのフィードなど、１つまたは複数のカメラフィードを単一の地図表示内に視覚化することができる。カメラフィードは、静止イメージまたはビデオイメージを含むことができる。ある意味で、ビデオは一連の静止イメージで構成される。したがって、以下の解説は主にビデオフィードに焦点を当てるが、その解説は１つまたは複数の静止イメージを伴う事例を含むように容易に拡張することができる。]
[0015] [0020]この地図は、本明細書で「仮想地球」もしくは「仮想世界地図」または最も一般的には「仮想地図」として参照する、２次元（２Ｄ）もしくは３次元（３Ｄ）の地図とすることができる。仮想地球地図は、道路やビルなどの人工的特徴ならびに自然的特徴を含むことができる。仮想地球地図の一例が、Ｍｉｃｒｏｓｏｆｔ（登録商標）によるＶｉｒｔｕａｌ Ｅａｒｔｈ ３Ｄ（商標）である。概して、仮想地球地図は３Ｄソフトウェアモデルまたは地球の表現である。つまりこの３Ｄモデルは、自然地形および任意の人工的特徴に関する３Ｄデータを保持する。仮想地球地図は、数値標高地図（ＤＥＭ）を取り込むことができる。仮想地図は、部屋やビル内部など、より規模が小さい構造体のために作成することもできる。]
[0016] [0021]表示画面は２次元の表面だが、３Ｄで表現される地図は、大した歪みもなく、閲覧者が見る角度および見る位置を変更することを可能にする。以下の解説は、主に３Ｄ地図に焦点を当てる。２Ｄ表現は３Ｄ表現の特殊な例に過ぎず、そのためこの解説は２Ｄ地図に容易に拡張することができる。]
[0017] [0022]以下の解説は主要例として交通カメラのフィードを使用し、説明するように、交通カメラのフィードは仮想地図に統合することができるため、車などの動きが仮想地図を背景に視覚化される。ただし、本明細書に記載する実施形態はそれだけに限られず、交通をモニターすること以外の用途で使用することができる。例えば以下の解説は、舗道沿いもしくはビル内の歩行者の動きを視覚化すること、または工場の生産フロア上のオブジェクトおよび人の動きを視覚化することに容易に拡張することができる。]
[0018] [0023]仮想地図上にカメラフィードを視覚化することは、地図上の特徴に対してフィードを位置合わせすることを必然的に伴う。例えば、交通カメラからのフィードを地図上に視覚化するために、その交通は地図の道路配置に対して位置合わせされる。カメラフィードを仮想地図上に視覚化することは、そのカメラがどこに向き、どの道路を対象にするのかに関する状況を提供する。複数のフィードが同時に視覚化される場合、それらのフィードは時間的に整合させることもできる。フィードを単一表示内に提示することは、ユーザーが、各カメラフィードによって提供される対象範囲をより迅速に把握することを可能にする。ユーザーはカメラフィード間の関係も把握することができ、ユーザーが因果関係を推論し、近隣のカメラによって対象とされていないエリアに関する情報を補間することを可能にする。例えば、あるカメラが交通事故を示し、近隣のカメラが交通渋滞を示す場合、ユーザーは、その交通渋滞が事故に起因し、カメラ間の一続きの道路も渋滞していると推論することができる。]
[0019] [0024]図１は、上記の内容を実現する、ビデオ視覚化システム１００の一実施形態のブロック図である。このシステム１００の側面は、コンピューター可読メディアの中に記憶されるコンピューター実行可能コンポーネントとして実装することができる。] 図１
[0020] [0025]図１の例では、システム１００は、ビデオキャプチャコンポーネント１１０、ビデオイメージングコンポーネント１２０、仮想地図モデリングコンポーネント１３０、およびビデオ視覚化コンポーネント１４０を含む。これらのコンポーネントは別個の要素として表すが、そのように別個に実装しなくてもよい。概して、システム１００は説明しようとする機能を提供し、その機能は単一のデバイスもしくはコンピューターシステム上の、または複数のデバイス／コンピューターシステムにわたって分散される、単一の機能要素または複数の機能要素を使用して実現することができる。] 図１
[0021] [0026]ビデオキャプチャコンポーネント１１０は、１台または複数台のビデオカメラ（不図示）からのフィードを受信し、処理する。例えば、このビデオキャプチャコンポーネント１１０は、それらのビデオカメラによってキャプチャされるビデオイメージをデジタル化し、かつ／またはエンコード（圧縮）することができる。ビデオキャプチャコンポーネント１１０は、ビデオカメラのそれぞれに実装することができる。]
[0022] [0027]図１の例では、ビデオイメージングコンポーネント１２０が、ビデオキャプチャコンポーネント１１０からのフィードを受信し、処理（例えばデコード）する。このビデオイメージングコンポーネント１２０は他の種類の処理も実行することができ、その実行することができる他の種類の処理の一部の例に関しては、図４Ａ〜図４Ｃの解説など、以下の解説を参照されたい。] 図１ 図４Ａ 図４Ｂ 図４Ｃ
[0023] [0028]引き続き図１を参照すると、仮想地図モデリングコンポーネント１３０が、２Ｄまたは３Ｄ仮想地図を生成する。ビデオ視覚化コンポーネント１４０が、ビデオイメージングコンポーネント１２０の出力と、仮想地図モデリングコンポーネント１３０の出力とを結合し、結果を表現する。概して言えば、ビデオ視覚化コンポーネント１４０は、１台または複数台のカメラからのフィードを、仮想地図に基づく２Ｄまたは３Ｄ地図に統合し、その結果生じる統合済みの１つまたは複数のフィード／地図を表現する。言い換えれば、ビデオ視覚化コンポーネント１４０は、ビデオのフレームを３Ｄ仮想地図から得られる地図内にカット／ペーストする。] 図１
[0024] [0029]各フィードを地図上に適切に視覚化するために、各カメラがその地図に対して位置合わせされる。カメラは、自らのビデオフィード内の特徴を、地図内の対応する特徴に対して位置合わせすることにより、その地図に位置合わせすることができる。例えば、交通カメラのフィードは道路上を動く車両を概して含み、交通カメラと地図とを位置合わせするために、ビデオ内の道路が地図内の対応する道路に対してマップされ、位置合わせされる。その結果、ビデオ内に含まれる車両が地図内でも適切に配置され、方向付けられる。]
[0025] [0030]カメラと地図との位置合わせは、手動、自動、またはその両方の組合せとすることができる。完全手動の位置合わせは、ビデオおよび地図内の対応部分を特定するものである。対応部分がより多く特定されればされるほど、位置合わせがより優れたものとなる。この対応することは、ビデオのフレームを地図の正しい部分上にマップする、ワーピング関数の計算を可能にする。完全自動の位置合わせは、ビデオ内の特徴を地図内の特徴に突き合わせ、それらの特徴を位置合わせすることによって実装することができる。]
[0026] [0031]手動の位置合わせ技法と自動の位置合わせ技法との組合せを使用して、それらの技法の欠点の一部を回避しながら、両方の種類の技法の利点を実現することができる。まず、カメラの内部パラメーター（例えば焦点距離、主点、および傾斜）、ならびにカメラの最初の位置および向きを調整するために、対応部分を手動で特定することができる。次に、低レベル視覚技法を使用してビデオ内の特徴を計算し、必要に応じてそのカメラを自動で再位置合わせするために使用することができる。図６に関連して追加情報を提供する。手動技法と自動技法との組合せは、完全手動の技法に関連する単調さおよび人的エラーの一部を回避し、代わりに、その後の位置合わせが自動で行われるので、手動アクションは最初の位置合わせに限られる。技法の組合せは、完全自動の技法より堅牢でもある。例えば、ビデオ内の特定の特徴が位置合わせのために依拠されるが、その特徴が地図から欠けている場合、その位置合わせにおける試みは人間の介入なしでは失敗する可能性が高い。] 図６
[0027] [0032]カメラが最初に位置合わせされた後、そのカメラは意図的にまたは風などの影響が原因で動く場合がある。カメラが動く場合、ビデオ内のポイントと地図内のポイントとの間の対応関係を再び手動で特定して補正することができる。あるいは上述したように、カメラが自動で再位置合わせされることも可能である。]
[0028] [0033]図２は、仮想地球地図２００の領域２２０にオーバーレイされた、イメージ（例えばビデオ）フレーム２１０を図示する。図２ではオブジェクト（例えば、車両、木、ビル、および道路）を漫画のような様式で図示するが、実際の実施では、それらのオブジェクトはより現実的に表現される。実際の実施では、ビデオの質がフレーム２１０内のオブジェクトの質を決定する一方、フレーム２１０の外側のオブジェクトは、例えばＶｉｒｔｕａｌ Ｅａｒｔｈ ３Ｄ（商標）において見られるように概して写真品質である。] 図２
[0029] [0034]システム１００（図１）などのビデオ視覚化システムを利用し、フレーム２１０がカメラ（例えば交通カメラ）によってキャプチャされ、地図２００に統合される。フレーム２１０は、特定の時点における、カメラの視界範囲内のエリアのイメージを表す。図２の例に示すように、フレーム２１０は地図２００内に本質的に埋め込まれる（オーバーレイされ、または重ね合わせられる）。つまり、地図２００の領域２２０内にフレーム２１０がペーストされる一方、領域２２０の周りのエリアを埋めるために地図２００の残りの部分が使用される。上述したように、このカメラおよび地図２００は、各フレームが地図表示内で適切に配置され、適切に方向付けられるように、調整することができる。] 図１ 図２
[0030] [0035]視聴者が例えば領域２２０内の交通の動きを見ることになるように、同様の方法で、連続した（ビデオ）フレームを地図２００上にオーバーレイすることができる。要するに、地図２００を構成する静的イメージの中に動的情報（ビデオフィード）が統合される。これにより、閲覧者に、例えば実際の交通状況の正確な表現が提供される。]
[0031] [0036]さらに、地図２００の表示部分によって取り囲まれる地理的エリアを対象とする複数のカメラある場合、それらのカメラからのフレームをこの地図の対応する領域上に同様にオーバーレイすることができる。カメラの個々のビデオが地図表示内で適切に配置され、適切に方向付けられるように、カメラのそれぞれを地図２００に対して調整することができる。]
[0032] [0037]任意のカメラの位置がその最初の位置から変わる場合、上述したように、そのカメラは再調整（再位置合わせ）することができる。その結果、そのカメラのフィードは地図２００内の別のポイントで視覚化され、そのため、その再配置されたカメラによってキャプチャされるビデオは、この地図の他の特徴に対して引き続き適切に位置合わせされることになる。言い換えれば、領域２２０は特定のカメラに関連付けられ、そのカメラが動かされる場合、一致するように領域２２０も同じく移動される。]
[0033] [0038]カメラフィードは、たった今説明したのと異なる方法で視覚化することができる。カメラフィードを視覚化する別の方法は、ビデオを、仮想地球地図上に重ね合わせられる「ビルボード」上にアニメーションテクスチャとして表現することである。図３は、地図３００上にオーバーレイされたビルボード３１０を図示する。上述したように、図３ではオブジェクトを漫画のような様式で図示するが、実際の実施では、それらのオブジェクトはより現実的に表現される。] 図３
[0034] [0039]ビルボード３１０は、（遠近法によって見る場合長方形でないように見えるが）平面かつ長方形であり、上述した方法で地図３００の特徴（例えば道路）に位置合わせされる。アニメーション内の各テクスチャはビデオからのフレームの役を務め、そのためその効果は、交通が例えばビルボード３１０に沿って動くように見えることである。図３の例において見られるように、地図３００に対するビルボード３１０の位置合わせは比較的単純であり、閲覧者に、例えば実際の交通状況の正確な表現が提供される。] 図３
[0035] [0040]上記の内容に対する代替策は、道路配置を含む数値標高地図（ＤＥＭ）を使用して、ビルボードを使用することによってはさもなければ目に見ることができない可能性がある、３Ｄ効果を提供することである。ある意味で、カメラは、「スライド」（フレーム）をＤＥＭ上に投影し、ビデオ内のオブジェクト（例えば交通）がＤＥＭの等高線をなぞる効果を作成する、スライドプロジェクターとして考えることができる。結果として生じる表示は、図２によって示される表示と同様のものとなる。ＤＥＭを使用することのもう１つの利点は、カメラが向きを変える場合、大した歪みもなく、そのビデオフィードを引き続き視覚化できることである。] 図２
[0036] [0041]ビデオカメラからのフィードは、ユーザーの関心が低い可能性がある情報を含む。例えば、交通カメラは、閲覧者がある道路の交通量にしか関心がないときに、その道路を取り巻く環境の詳細をキャプチャする場合がある。これに対処するために、例えば交通のみが残るように、そのビデオフィードから背景を取り除くことができる。背景を取り除くための１つの方法は、ビデオ内の動いているオブジェクトのみを抽出することである。これを抽出するために、ある期間にわたり、ビデオ内のピクセルごとの中央値が求められる。次いで、そのビデオの各フレーム内の対応するピクセル値から、ピクセルごとの各中央値が減算されて、動いているオブジェクトのみを示すアルファマットを作成する。]
[0037] [0042]図４Ａ、図４Ｂ、および図４Ｃは、ビデオフィードからの特定のオブジェクトの抽出を図示する。上記の例のように、オブジェクトを漫画のような様式で図示するが、実際の実施では、それらのオブジェクトはより現実的に表現することができる。図４Ａは、中央イメージ（ｍｅｄｉａｎ ｉｍａｇｅ）４００を示す。図４Ｂは、典型的なフレーム４１０を示す。図４Ｃは、アルファマットされたイメージ４２０の１フレームを示す。このアルファマットされたイメージ４２０は、上述したのと同様の方法で仮想地球地図またはＤＥＭ上に重ね合わせることができる。結果として生じる表示は、図２によって示される表示と同様のものとなる。] 図２ 図４Ａ 図４Ｂ 図４Ｃ
[0038] [0043]ビデオフィードからオブジェクトを抽出するために、他の手法を使用することができる。例えば、分類子をトレーニングして、車や他の種類の交通を認識することができる。分類子を使用することは計算の複雑さを増す可能性があるが、動いていないオブジェクト（例えば、渋滞して動かない車）を認識し、ビデオフィードから抽出することも可能にする。]
[0039] [0044]たった今説明した手法に対する拡張は、抽出したオブジェクトを、そのオブジェクトの抽象化またはシミュレーションで置換することである。例えば、図４Ａ〜図４Ｃに関連して説明したように、交通フィードからの車両の実際のイメージを表現する代わりに、シミュレートされた車両を地図上に表示することができる。要するに、アルファマットされた表示４２０内の車両を、車両の合成表現で置換することができる。より詳細には、アルファマットされた表示４２０内のオブジェクトそれぞれの位置および速度を、フレームごとに追跡して、各オブジェクトの時間に対する位置を計算することができる。各オブジェクトの位置のみが、ビデオイメージングコンポーネント１２０からビデオ視覚化コンポーネント１４０（図１）に送信される必要があり、帯域幅要求を低減する。結果として生じる表示は、図２または図３よって示される表示と同様のものとなるが、ここでは、領域２２０またはビルボード３１０内のオブジェクトは、ことによると漫画のようになるが、より詳細なシミュレーションを使用することもできる。] 図１ 図２ 図３ 図４Ａ 図４Ｂ 図４Ｃ
[0040] [0045]帯域幅要求を低減することに加え、シミュレートされたオブジェクトを使用することには他のいくつかの利点がある。各オブジェクトの時間に対する位置を追跡することは、そのオブジェクトの位置をカメラの視界外のエリアに外挿することを可能にする。また、オブジェクトの表現は標準化（シミュレート）され、したがってその表現はカメラの解像度、ライトニング、条件、カメラからオブジェクトまでの距離および他の影響と無関係である。加えて、カメラフィードの視覚化は、カメラの位置合わせ不良がもたらすノイズにより耐性がある。]
[0041] [0046]１つまたは複数のビデオフィードを含む地図は、より大きい表示の一部とすることができる。例えば、この地図／フィードの視覚化は、統計、交通概要、気象状況、他のウェブサイトへのリンクなどの追加情報を提供する記号、数字、および他のイメージを含むテキストを伴うことができる。さらに、こうした情報を地図上に重ね合わせることができる。また、こうした情報をビデオフィードに追加してから、地図上に重ね合わせることができる。概して追加情報は、地図に接する表示領域の中に、または地図自体の中に提示することができる。]
[0042] [0047]図５は、ビデオフィードを視覚化するための方法の一実施形態を要約する流れ図５００である。図６は、ビデオカメラを仮想地図に対して調整するための方法の一実施形態の流れ図６００である。流れ図５００および流れ図６００に特定のステップを開示するが、そのようなステップは例示的である。つまり、他の様々なステップ、または流れ図５００および流れ図６００に列挙するステップの改変形態を実行することができる。流れ図５００および流れ図６００のステップは、提示したのと異なる順序で実行することができる。さらに、流れ図５００および流れ図６００によって記載する様々な実施形態の特徴は、単独でまたは互いに組み合わせて使用することができる。一実施形態では、流れ図５００および流れ図６００は、コンピューター可読メディアの中に記憶されるコンピューター実行可能命令として実装することができる。] 図５ 図６
[0043] [0048]まず図５を参照すると、ブロック５０２で、一連の入手可能なカメラフィードがユーザーに提示される。ブロック５０４で、ユーザーがそれらのカメラフィードのうちの１つまたは複数を選択する。ブロック５０６で、選択されたフィードがアクセスされ、例えば図１のビデオ視覚化コンポーネント１４０によって受信される。ブロック５０８で、ビデオ視覚化コンポーネント１４０が、仮想地図にもアクセスする。ブロック５１０で、選択されたビデオフィードがその仮想地図上に重ね合わせられ、その結果が表示される。より詳細には、ユーザーの選択に応じて、１つまたは複数のフィードを、２Ｄもしくは３Ｄの背景を背に同時に視覚化することができる。上記の図２、図３、および図４Ａ〜図４Ｃの解説の中でさらなる情報を提供した。] 図１ 図２ 図３ 図４Ａ 図４Ｂ 図４Ｃ 図５
[0044] [0049]次に図６を参照すると、ブロック６０２で、カメラからのビデオフィードが地図の３Ｄ形状に対して手動で位置合わせされる。そのカメラの内部パラメーター（そのカメラの焦点距離、主点、傾斜など）、ならびに他のパラメーター（そのカメラの向きなど）が決定される。例えば、ユーザー（必ずしもエンドユーザーでなくことによるとシステム管理者などのユーザー）は、フィードからのイメージ（例えばフレーム）を、地図に関連する既知の３Ｄ形状に対話的に調整（「地理的配置：ｇｅｏｐｏｓｉｔｉｏｎ」）することができる。要するに、カメラの実際（実世界）の位置が、３Ｄ地図モデル内の位置にマップされる。] 図６
[0045] [0050]ブロック６０４で、調整および低レベル視覚技法を使用して、例えば風の影響やスケジュールされたカメラ回転が原因で変わり得る、カメラのパラメーターを自動で更新する。交通カメラのフィードでは、低レベル視覚技術を使用してフィード内に示される交通の流れ（「交通ベクトル」）の全体的な方向を求める。３Ｄ地図モデルに関連付けられるのが、例えばカメラによって観察される道路の方向（「道路ベクトル」）を識別する、メタデータである。この交通ベクトルと道路ベクトルとを位置合わせすることにより、カメラフィードを地図内の道路に対して最初に位置合わせすることができる。カメラが動くとき、フィード内の交通の流れが地図内の道路に対して位置合わせされるように、道路ベクトルと交通ベクトルとを位置合わせする、カメラ位置の増分変換を計算することができる。]
[0046] [0051]例えば、カメラは１０分おきに１０度回転して、利用可能な３Ｄ道路ベクトルデータがある道路のパノラマを作成することができる。カメラは、所与の時点において１つのフレームを基準にして調整することができる。カメラが回転するとき、そのカメラの回転角度が分からない。イメージ内のオプティカルフロー（交通ベクトル）を計算することにより、そのイメージ内の道路の方向も求めることができる（そのイメージ内の道路の方向は交通ベクトルに相当する）。３Ｄ道路ベクトルデータがイメージ上に投影されるとき、前述の回転に起因する、予測道路ベクトルとオプティカルフローとの位置合わせ不良が検出される。予測道路ベクトルおよび測定オプティカルフローに最も優れて、または少なくとも満足に整合する、カメラの回転量を求めることができる。カメラの位置が分かっているが、向きが分からない場合、予測道路ベクトルおよび測定オプティカルフローに整合するカメラの回転量を見つけるこの技法を使用して、カメラの向きを自動で見つけることができる。]
[0047] [0052]例えばイメージ内に３本以上の道路があり、特にそれらの道路がジャンクションを形成する場合、カメラ調整は容易にされる。さらに、この調整を行うために、道路以外のランドマークを利用することができる。概して、カメラの位置を自動で更新（再位置合わせ）するために、既知の３Ｄ形状が既知の２Ｄ特徴（例えばイメージ内の交通のオプティカルフロー）に対応付けられる。]
[0048] [0053]要約すれば、カメラからのフィードは、それらのフィードに基づくイメージを、３Ｄ仮想地図に基づく２Ｄまたは３Ｄの地図上に重ね合わせることにより、より良く視覚化される。その結果、それらのフィードは自らの地理的コンテキストを保持し、それらのカメラがどの方向に向いており、どのオブジェクト（例えば道）を記録しているのかをユーザーにとって分かり易くする。さらに、一方のカメラフィードに対するもう一方のカメラフィードの関係を、ユーザーはより迅速に理解することができる。]
[0049] [0054]上記の明細書では、実装形態ごとに異なり得る、多くの特定の詳細に関して実施形態を記載してきた。したがって、本発明がどのようなものであり、本出願人によって何が本発明であると意図されるのかについての唯一のそして排他的な指標は、その後の任意の訂正を含む、特許請求の範囲が発行される特定の形式をなす、本出願に由来する１組の特許請求の範囲である。よって、請求項に明確に列挙されていない限定、要素、プロパティ、特徴、利点、または特質は、いかなる方法においてもそのような請求項の範囲を限定すべきでない。したがって、本明細書および諸図面は、限定的意味でなく例証的意味とみなされるべきである。]

权利要求:

請求項1
コンピューター実行可能コンポーネントを有するコンピューター可読メディア（１００）であって、仮想地図モデル（１３０）と、前記仮想地図モデルに結合され、第１のカメラから受信する第１のビデオフィードに基づいて第１のイメージを生成するように機能するビデオイメージジェネレーター（１２０）と、前記仮想地図モデルおよび前記ビデオイメージジェネレーターに結合される視覚化モデルであって、前記仮想地図モデルから生成される地図上に前記第１のイメージをオーバーレイするように機能する、視覚化モデル（１４０）とを備える、コンピューター可読メディア。
請求項2
前記第１のビデオフィードが、道路上を移動する車両のイメージを含み、前記地図が少なくとも前記道路のイメージを含み、前記視覚化モデルが、前記道路の前記イメージを伴う前記車両のイメージに関して機能する、請求項１に記載のコンピューター可読メディア。
請求項3
前記ビデオイメージジェネレーターが、第２のカメラから受信する第２のビデオフィードに基づいて第２のイメージを生成するようにさらに機能し、前記視覚化モデルが、前記地図上に前記第２のイメージをオーバーレイするようにさらに機能し、前記第１のイメージと前記第２のイメージとが時間的に整合される、請求項１に記載のコンピューター可読メディア。
請求項4
前記第１のイメージが、前記地図上に重ね合わせられるビルボード上にアニメーションテクスチャとして表現される、請求項１に記載のコンピューター可読メディア。
請求項5
前記地図が数値標高地図（ＤＥＭ）を含み、前記第１のビデオフィードが前記ＤＥＭ上に投影される、請求項１に記載のコンピューター可読メディア。
請求項6
前記第１のビデオフィードからの動いているオブジェクトのみが前記地図上にオーバーレイされる、請求項１に記載のコンピューター可読メディア。
請求項7
前記第１のイメージが、前記第１のビデオフィード内のオブジェクトのシミュレーションを含み、前記シミュレーションが前記オブジェクトの実際のイメージの代わりに使用される、請求項１に記載のコンピューター可読メディア。
請求項8
前記コンピューター実行可能コンポーネントが、前記地図および前記第１のビデオフィードに基づく情報に関連するメタデータを使用して前記第１のカメラを調整するように機能する、調整モデルをさらに含む、請求項１に記載のコンピューター可読メディア。
請求項9
ディスプレイおよびユーザー選択デバイスを含む、グラフィカルユーザーインターフェイスを有するコンピューターシステムにおいて、ビデオフィードを視覚化する方法（５００）であって、（５０２）第１の位置における第１のビデオカメラからの第１のビデオカメラのフィードを含む、複数のビデオカメラのフィードを識別する情報を表示するステップと、（５０４）前記第１のビデオカメラのフィードを識別する選択を受け取るステップと、（５１０）前記第１のビデオカメラのフィードに基づく第１のイメージを表示するステップであって、前記第１のイメージは前記第１の位置を含む仮想地図上に重ね合わせられる、第１のイメージを表示するステップとを含む、方法。
請求項10
前記第１のビデオカメラのフィードが、道路上を移動する車両のイメージを含み、前記仮想地図が前記道路のイメージを含み、前記方法が、前記車両のイメージと前記道路の前記イメージとを位置合わせするステップをさらに含む、請求項９に記載の方法。
請求項11
第２の位置における第２のビデオカメラからの第２のビデオカメラのフィードを識別する選択を受け取るステップと、前記第２のビデオカメラのフィードに基づく第２のイメージを表示するステップであって、前記第２のイメージが前記仮想地図上に重ね合わせられ、前記第１のイメージと前記第２のイメージとが時間に関して整合される、第２のイメージを表示するステップとをさらに含む、請求項９に記載の方法。
請求項12
前記第１のイメージを前記表示するステップと同時に、テキストベース情報を表示するステップをさらに含む、請求項９に記載の方法。
請求項13
前記地図表示が数値標高地図（ＤＥＭ）を含み、前記方法が、前記第１のフィードを前記ＤＥＭ上に投影するステップをさらに含む、請求項９に記載の方法。
請求項14
前記第１のフィードからの動いているオブジェクトのみを前記地図表示上に表現するステップをさらに含む、請求項９に記載の方法。
請求項15
前記第１のイメージが、前記第１のフィード内のオブジェクトのシミュレーションを含み、前記シミュレーションが、前記第１のカメラによって撮られる前記オブジェクトの実際のピクチャーの代わりに使用される、請求項９に記載の方法。